home *** CD-ROM | disk | FTP | other *** search
/ Language/OS - Multiplatform Resource Library / LANGUAGE OS.iso / ast_comp / gopher.lha / gopher1.01 / gopherd / Waisindex.c < prev   
Encoding:
C/C++ Source or Header  |  1992-06-22  |  6.6 KB  |  287 lines
  1. #ifdef WAISSEARCH
  2.  
  3. /* WIDE AREA INFORMATION SERVER SOFTWARE
  4.    No guarantees or restrictions.  See the readme file for the full standard
  5.    disclaimer.    
  6.    Brewster@think.com
  7.  
  8.    Heavily hacked by Paul Lindner (lindner@boombox.micro.umn.edu)
  9.    Do you even recognize this Brewster? :-)
  10.  
  11. */
  12.  
  13. int ShowDate = 0;
  14.  
  15. #define _search_c
  16.  
  17. #include <ctype.h>
  18.  
  19. #ifndef ultrix
  20. #include <string.h>     /* for strlen() */
  21. #endif
  22.  
  23. #include "../ir/cutil.h"
  24. #include "../ir/irfiles.h"
  25. #include "../ir/irlex.h"
  26. #include "../ir/irext.h"
  27. #include "../ir/irsearch.h"
  28. #include "../ir/docid.h"
  29. #include <math.h>
  30.  
  31.  
  32. #include "gopherd.h"
  33.  
  34.  
  35. FILE *logfile = NULL; /* the logfile */
  36. char *log_file_name = NULL;
  37.  
  38. static char *DefaultDB = "index";
  39. static char *MonthStr[] = {
  40.      "Jan", "Feb", "Mar", "Apr", "May", "June", "July", "Sept", "Oct",
  41.       "Nov", "Dec"
  42. };
  43.  
  44. void
  45. WaisIndexQuery(sockfd, index_directory, SearchWords, new_db_name, INDEXHost, INDEXPort, INDEXPath)
  46.   int sockfd;
  47.   char *index_directory;
  48.   char *SearchWords;
  49.   char *new_db_name;
  50.   char *INDEXHost;
  51.   int  INDEXPort;
  52.   char *INDEXPath;
  53. { 
  54.      database* db;
  55.      long maxRawScore;
  56.      long normalScore;
  57.      char *cp;
  58.      char dateline[10];
  59.      long i;
  60.      query_parameter_type parameters;
  61.      boolean search_result;
  62.      char score[6];
  63.      static char ReturnLine[512];
  64.      float  closeness;
  65.      GopherDirObj *gd;
  66.      GopherObj    *gs;
  67.      
  68.  
  69.      gs = GSnew();
  70.      gd = GDnew(32);
  71.  
  72.      if (DEBUG)  {
  73.       fprintf(stderr, "IndexPath: %s\n", INDEXPath);
  74.       logfile = stderr;   /** Log wais error messages to console **/
  75.      }     else {
  76.       logfile = ufopen("/dev/null", "w+");
  77.      }
  78.  
  79.      if (new_db_name == NULL) {
  80.       new_db_name = DefaultDB;
  81.      }
  82.  
  83.      if (uchdir(index_directory)) {
  84.       Abortoutput(sockfd, "Couldn't change to index directory...");
  85.       return;
  86.      }
  87.  
  88.      if (SearchWords != NULL && strlen(SearchWords) == 0) {
  89.       EveryWAISdocument(new_db_name);
  90.       return;
  91.      }
  92.  
  93.      db = openDatabase(new_db_name, false, true);
  94.      
  95.      if (db == NULL) {
  96.       sprintf(ReturnLine, "Failed to open database %s in index dir %s", new_db_name, index_directory);
  97.       Abortoutput(sockfd, ReturnLine);
  98.       writestring(sockfd, ".\r\n"); /** be polite **/
  99.       return;
  100.      }
  101.      
  102.      parameters.max_hit_retrieved = 256;
  103.  
  104.      set_query_parameter(SET_MAX_RETRIEVED_MASK, ¶meters);
  105.      
  106.      search_result = false;
  107.      search_result |= search_for_words(SearchWords, db, 0);
  108.      
  109.      if (search_result == true) {
  110.       /* the search went ok */
  111.       hit best_hit;
  112.       
  113.       finished_search_word(db);
  114.       if (DEBUG)
  115.            printf("After finished_search\n");
  116.  
  117.       for (i = 0; i < 200; i++){ 
  118.            if (0 != next_best_hit(&best_hit, db))
  119.             break;        /* out of hits */
  120.            if (i == 0)
  121.             maxRawScore = best_hit.weight;
  122.            if (best_hit.weight > 0 && 
  123.            strstr(best_hit.filename, ".cache")==NULL){
  124.             long lines,length;
  125.  
  126.             char** type = NULL;
  127.             
  128.             normalScore = (long)floor((((double)best_hit.weight) /
  129.                            ((double)maxRawScore)) *    
  130.                           (MAX_NORMAL_SCORE + 1));
  131.  
  132.             if (normalScore > MAX_NORMAL_SCORE)
  133.              normalScore = MAX_NORMAL_SCORE;
  134.             
  135.  
  136.             /*** Strip off the first part of the path in the filename*/
  137.             /*** Plus it gets rid of weird automount things... ***/
  138.             cp =strstr(best_hit.filename, INDEXPath);
  139.             if (cp == NULL)
  140.              cp = "Error in Hostdata!";
  141.             else
  142.              cp += strlen(INDEXPath);
  143.             
  144.  
  145.                     sprintf(score,"%3d ",best_hit.weight);
  146.  
  147.                     waislog(0,99,"%s: Score %3d:%s",SearchWords,best_hit.weight,cp);
  148.             
  149.             /** Make the outgoing string **/
  150.  
  151.             ZapCRLF(best_hit.headline);
  152.             
  153.             if (ShowDate) {
  154.              sprintf(dateline, "%.2s/%.2s/%.2s ",
  155.                  best_hit.date + 2, best_hit.date + 4,
  156.                  best_hit.date);
  157.             }
  158.             
  159.             GSsetType(gs, '0');
  160.             GSsetTitle(gs, best_hit.headline);
  161.             GSsetHost(gs, INDEXHost);
  162.             GSsetPort(gs, INDEXPort);
  163.             
  164.             sprintf(ReturnLine, "R%d-%d-/%s",
  165.                 best_hit.start_character, best_hit.end_character,
  166.                 cp);
  167.             
  168.             if (!MacIndex)
  169.             GSsetPath(gs, ReturnLine);
  170.             else
  171.             GSsetPath(gs, cp);
  172.             GSsetWeight(gs, best_hit.weight);
  173.             
  174.             GDaddGS(gd, gs);
  175.            }
  176.            
  177.            
  178.            if (DEBUG) {
  179.             printf("%s\n", ReturnLine);
  180.             printf("End Byte   = %d\n", best_hit.end_character);
  181.             printf("Doc length = %d\n", best_hit.document_length);
  182.             printf("#lines     = %d\n", best_hit.number_of_lines);
  183.            }
  184.       }
  185.      }
  186.      else {
  187.       /* something went awry in the search */
  188.       LOGGopher(sockfd, "Something went wrong in the search!\r\n");
  189.       writestring(sockfd, ".\r\n"); /*** be polite, don't screw up the client**/
  190.       return;
  191.      }
  192.      finished_best_hit(db);
  193.  
  194.      /*** Finish the output ***/
  195.      /*** End with the period... ***/
  196.  
  197.      if (UsingHTML)
  198.       GDtoNetHTML(gd, sockfd);
  199.      else
  200.       GDtoNet(gd, sockfd);
  201.  
  202.      writestring(sockfd, ".\r\n");
  203.  
  204.      /* free everything */
  205.      closeDatabase(db);
  206.      return;
  207. }
  208.  
  209. EveryWAISdocument(sockfd, db, INDEXHost, INDEXPort, INDEXPath)
  210.   int sockfd;
  211.   char *db;
  212.   char *INDEXHost;
  213.   int  INDEXPort;
  214.   char *INDEXPath;
  215. {
  216.      FILE         *dbcatalog;
  217.      char         db_name[MAXPATHLEN];
  218.      char         inputline[512];
  219.      String       *Headline;
  220.      String       *Filename;
  221.      int          StartByte, EndByte;
  222.      GopherObj    *gs;
  223.      GopherDirObj *gd;
  224.      boolean      Headlineset = FALSE;
  225.      boolean      DocIDset    = FALSE;
  226.  
  227.      gs = GSnew();
  228.      gd = GDnew();
  229.      Headline = STRnew();
  230.      Filename = STRnew();
  231.  
  232.      strcpy(db_name, db);
  233.      strcat(db_name, ".cat");
  234.  
  235.      dbcatalog = rfopen(db_name, "r");
  236.      
  237.      while (fgets(inputline, sizeof(inputline), dbcatalog) != NULL) {
  238.       if (strncmp(inputline, "Headline: ", 10)==0) {
  239.            STRset(Headline, inputline +10);
  240.            Headlineset = TRUE;
  241.       }
  242.       else if (strncmp(inputline, "DocID: ", 7)==0) {
  243.            char *cp;
  244.  
  245.            StartByte = atoi(inputline);
  246.            cp = strchr(inputline+7, ' ');
  247.            if (cp == NULL) break;
  248.  
  249.            cp++;
  250.            EndByte = atoi(cp);
  251.  
  252.            cp = strchr(inputline+7, ' ');
  253.            cp++;
  254.            if (cp == NULL) break;
  255.  
  256.            cp =strstr(cp, INDEXPath);
  257.            if (cp == NULL) break;
  258.            
  259.            STRset(Filename, cp);
  260.  
  261.            DocIDset = TRUE;
  262.       }
  263.       
  264.       if (DocIDset == TRUE && Headlineset == TRUE) {
  265.            char tmppath[512];
  266.  
  267.            sprintf(tmppath, "R%d-%d-%s", StartByte, EndByte, STRget(Filename));
  268.  
  269.            GSsetType(gs, '0');
  270.            GSsetTitle(gs, STRget(Headline));
  271.            GSsetHost(gs, INDEXHost);
  272.            GSsetPort(gs, INDEXPort);
  273.            GSsetPath(gs, tmppath);
  274.  
  275.            GDaddGS(gd, gs);
  276.  
  277.            DocIDset = FALSE;
  278.            Headlineset = FALSE;
  279.       }
  280.      }      
  281. }
  282.  
  283.  
  284. #endif /** WAISSEARCH **/
  285.  
  286.  
  287.